Hoắc liên kết với một số võ sư người Hoa yêu nước thành lập Hội Võ thuật Tinh Võ (Tinh Võ Môn 精武門) vào năm 1909 với mục đích rèn luyện sức khỏe và võ thuật tự vệ cho mọi người và được thanh thiếu niên Trung Hoa nhiệt tình hưởng ứng.

Vượt thoát khỏi sự ràng buộc của nghi lễ, sự tầm sư học đạo rất khó khăn trong các môn quyền thuật trước đây, Tinh Võ Thể dục Hội đã lần đầu tiên trong lịch sử võ thuật Trung Hoa phổ biến võ thuật tới đại chúng.